财务时间序列仿真是一个核心主题，因为它扩展了有限的实际数据，用于培训和评估交易策略。由于真实财务数据的复杂统计特性，这也是一项挑战。我们介绍了两个生成的对抗网络（GAN），该网络利用引起注意的卷积网络和变压器进行财务时间序列模拟。甘斯以数据驱动的方式学习统计属性，注意机制有助于复制远程依赖性。在标准普尔500指数和期权数据上测试了所提出的gan，根据风格化的事实对分数进行了检查，并与纯卷积GAN（即Quantangan）进行了比较。基于注意力的甘斯不仅重现了风格化的事实，而且还要平滑回报的自相关。
translated by 谷歌翻译
We consider the straggler problem in decentralized learning over a logical ring while preserving user data privacy. Especially, we extend the recently proposed framework of differential privacy (DP) amplification by decentralization by Cyffers and Bellet to include overall training latency--comprising both computation and communication latency. Analytical results on both the convergence speed and the DP level are derived for both a skipping scheme (which ignores the stragglers after a timeout) and a baseline scheme that waits for each node to finish before the training continues. A trade-off between overall training latency, accuracy, and privacy, parameterized by the timeout of the skipping scheme, is identified and empirically validated for logistic regression on a real-world dataset.
translated by 谷歌翻译
This paper presents the OPUS ecosystem with a focus on the development of open machine translation models and tools, and their integration into end-user applications, development platforms and professional workflows. We discuss our on-going mission of increasing language coverage and translation quality, and also describe on-going work on the development of modular translation models and speed-optimized compact solutions for real-time translation on regular desktops and small devices.
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
在本文中，我们提出了一个用于计算插值分解（ID）的概率模型，其中观察到的矩阵的每一列都有其自身的优先级或重要性，因此分解的最终结果可以找到一组代表该功能的特征，这些功能代表了该功能整个功能以及所选功能的优先级也比其他功能更高。这种方法通常用于低级别近似，特征选择和提取数据中的隐藏模式，其中矩阵因子是与每个数据维度相关的潜在变量。应用贝叶斯推理的Gibbs采样用于进行优化。我们评估了现实世界数据集上的拟议模型，包括十个中国A股票股票，并证明了带有干预措施（IID）的拟议的贝叶斯ID算法（IID）与现有贝叶斯ID算法的可比较重建错误，同时选择具有更高分数或优先级的特征。
translated by 谷歌翻译
在同时定位和映射（SLAM）中，环路闭合检测（LCD）对于在识别先前访问的地方时最小化漂移至关重要。视觉袋（VBOW）一直是许多最先进的大满贯系统的LCD算法。它使用一组视觉功能来提供健壮的位置识别，但无法感知特征点之间的语义或空间关系。先前的工作主要集中在解决这些问题上，通过将VBOW与现场对象的语义和空间信息相结合。但是，他们无法利用局部视觉特征的空间信息，并且缺乏统一语义对象和视觉特征的结构，因此限制了两个组件之间的共生。本文提出了SymbiolCD2，该symbiolcd2创建了一个统一的图形结构，以在共生的方式集成语义对象和视觉特征。我们的新型基于图的LCD系统通过应用具有时间限制的Weisfeiler-Lehman图内核来利用统一的图结构，以稳健地预测循环闭合候选者。对所提出的系统的评估表明，具有结合语义对象和视觉特征的统一图结构提高了LCD预测精度，这说明了所提出的图形结构在这两个互补组件之间提供了强烈的共生。它还优于其他机器学习算法 - 例如SVM，决策树，随机森林，神经网络和基于GNN的图形匹配网络。此外，它在比最先进的SLAM系统的早期检测循环闭合候选方面表现出良好的性能，这表明统一图结构的扩展语义和空间意识会显着影响LCD的性能。
translated by 谷歌翻译
在本文中，我们建议采用MDE范式来开发机器学习（ML）的软件系统，重点关注物联网（IoT）域。我们说明了如何将两种最先进的开源建模工具，即蒙蒂安娜和ML-Quadrat用于此目的，如案例研究所证明的那样。案例研究说明了使用ML使用MNIST参考数据集对手写数字的自动图像识别的ML，特别是深人造神经网络（ANN），并将机器学习组件集成到物联网系统中。随后，我们对两个框架进行了功能比较，设置了一个分析基础，以包括广泛的设计考虑因素，例如问题域，ML集成到较大系统中的方法以及支持的ML方法以及主题最近对ML社区的强烈兴趣，例如Automl和MLOP。因此，本文的重点是阐明ML域中MDE方法的潜力。这支持ML工程师开发（ML/软件）模型而不是实施代码，并通过启用ML功能作为IoT或IoT的组件的现成集成来实现设计的可重复性和模块化。网络物理系统。
translated by 谷歌翻译
变异下限（又称Elbo或自由能）是许多学习算法的核心目标，包括用于深度无监督学习的算法。学习算法会更改模型参数，使变量下限增加，直到参数接近学习动力学的固定点。在这种纯粹的理论贡献中，我们表明（对于一类非常大的生成模型），变异下限在所有固定的学习点等于等于熵的总和。对于具有一组潜伏期和一组观察到的变量的模型，总和由三个熵组成：（a）变异分布的（平均）熵，（b）模型先前分布的负熵，以及（c） （预期）可观察到的分布的负熵。所获得的结果适用于现实条件，包括：数据点的有限数量，在任何固定点（包括鞍点）以及（行为良好的）变异分布的任何家族。我们显示的生成模型类别的熵和均包含许多（也是大多数）标准生成模型（包括深模型）。作为具体示例，我们讨论了概率PCA和Sigmoid信念网络。我们用来显示熵和表现出平等的先决条件相对温和。具体而言，给定生成模型的分布必须是指数族的（具有恒定的基础度量），并且模型必须满足参数化标准（通常是满足的）。在固定点（在规定的条件下）证明ELBO到熵和熵和的平等是这项工作的主要贡献。
translated by 谷歌翻译
可解释的AI（XAI）的目的是设计方法，以提供有关黑盒模型（例如深神经网络）的推理过程的见解，以便向人类解释它们。社会科学研究指出，这种解释应该是对话的，类似于人类对人类的解释。在这项工作中，我们使用包含自然语言理解和发电组成部分的代理的标准设计来展示如何将XAI纳入对话代理。我们以XAI问题库为基础，我们通过质量控制的释义扩展，以了解用户的信息需求。我们进一步系统地调查了文献，以提供适当的解释方法，这些方法提供了以回答这些问题的信息，并提供了全面的建议列表。我们的工作是使用解释代理进行有关机器学习模型的真正自然对话的第一步。 XAI问题的全面列表和相应的解释方法可能会支持其他研究人员提供必要的信息以满足用户的需求。
translated by 谷歌翻译
多目标优化中的当前最新技术假设具有给定的效用函数，可以交互性地学习效用函数或试图确定完整的帕累托前部，需要对首选结果进行后启发。但是，现实世界中的问题的结果通常是基于隐式和明确的专家知识，因此很难定义效用功能，而交互式学习或启发后需要重复且昂贵的专家参与。为了减轻这种情况，我们使用偏好学习的专家知识来离线学习实用功能。与其他作品相比，我们不仅使用（成对）结果偏好，而且还使用有关实用程序功能空间的粗略信息。这使我们能够改善效用函数估计，尤其是在使用很少的结果时。此外，我们对实用程序功能学习任务中发生的不确定性进行建模，并通过整个优化链传播它们。我们学习公用事业功能的方法消除了重复专家参与的需求，同时仍导致高质量的结果。我们显示了在4个域中提出的方法的样本效率和质量提高，尤其是在替代效用函数无法精确捕获真正的专家效用函数的情况下。我们还表明，要获得良好的结果，重要的是要考虑诱发的不确定性并分析偏置样本的效果，这在现实世界中是一个常见的问题。
translated by 谷歌翻译